Dòng dõi nhà vợ ông từng 2 đời làm Tổng đốc Hà Đông trước năm 1945. Hồi đó tỉnh Hà đông là tỉnh lớn và quan trọng ở Bắc Kỳ. Cha vợ ông lúc đó làm Hiệp biện đại học sĩ, Chủ tịch Ủy ban tương tế xã hội trung ương Bắc Kỳ, hàm Thái tử Thiếu bảo là quan hàm cao nhất của Nam triều, đã thiết lập một trại ấp "từ thiện" và đã dày công chấn hưng thủ công mỹ nghệ dân tộc, chọn các nghệ nhân đưa sang Trung quốc học nghề lụa tơ tằm, sang Nhật học sơn mài, rồi cả nghề mộc nghề bạc, mở cả bảo tàng mỹ nghệ cho các nghệ nhân La Cả La Khê. Vì muốn ông duy trì các nghề thủ công mỹ nghệ nên đưa ông về làm Tổng đốc Hà đông. Ông kế nhiệm ông Vi Văn Định (là cha vợ Hồ Đắc Di, em trai ông) làm Tổng đốc Hà đông năm 1941.

Năm 1945 khi Nhật đảo chính Pháp đã mời ông làm Khâm sai Bắc Bộ phủ, nhưng ông đều từ chối. Và ngay sau Cách mạng Tháng Tám, ông đã đứng về phía Việt Minh trao ấn kiếm cho ông Đặng Kim Giang người sẽ là Chủ tịch Uỷ ban kháng chiến Hà Đông. Ngày 21-8-1945, khi Quản Dưỡng, Chỉ huy Bảo an binh ở Hà Đông đã cho nổ súng vào đoàn biểu tình, gây thương vong; cán bộ Việt Minh Lê Trọng Nghĩa đã cùng ông vào tận Trại Bảo an binh thuyết phục Quản Dưỡng quy hàng.